Evolusi NLP: AI Terpecah ke Model Dasar

Definisi

• AI Terpecah: Era yang ditandai oleh arsitektur neural terpisah dan khusus yang dirancang untuk tugas-tugas individu seperti pelabelan urutan atau klasifikasi.
• Model Dasar: Arsitektur transformer terpadu dan monolitik yang menangani semua masalah bahasa sebagai urutan teks-ke-teks generatif $x \rightarrow y$.

Konsep Inti

• Konsolidasi Arsitektur: Secara historis, NLP membutuhkan pipeline khusus (Bi-LSTM untuk NER, CNN untuk sentimen). LLM menggabungkan silo-silo ini menjadi satu tulang punggung tunggal di mana bobot yang sama digunakan untuk setiap tugas.
• Antarmuka Terpadu: LLM menggantikan "head output" khusus (misalnya, Softmax 3-kelas) dengan antarmuka berbahasa alami. Masukan dan keluaran selalu string, memungkinkan model untuk memahami tujuan daripada format.
• Transfer Pengetahuan: Model tradisional adalah "lembar kosong" untuk setiap tugas. LLM memberi prioritas pada Generalisasi Pertama, di mana tugas-tugas tertentu hanyalah aplikasi dari representasi internal bahasa yang sudah ada dan kuat.

Latar Belakang Historis

• Sebelum 2018: Pemisahan tugas mengharuskan melatih model yang berbeda dengan fungsi loss yang berbeda $\mathcal{L}_{task}$.
• Era Modern: Paradigma "TeKS-ke-TeKS" memungkinkan satu model (misalnya, Llama-3) untuk beralih tugas melalui pemeringkatan nol-percobaan atau sedikit percobaan.